인터넷 연결이 불안정하거나 대규모 데이터센터 인프라가 부족한 지역을 중심으로 소형 AI 모델이 빠르게 확산하고 있습니다. 이러한 소형 모델(TinyML)은 기존 클라우드 환경에 의존하지 않고도 기기 자체에서 데이터를 처리하고 유용한 결과를 도출할 수 있어 실용성이 높습니다. 통신 및 인프라 한계를 극복할 수 있는 엣지 AI(Edge AI) 기술로서 가치가 재평가되고 있는 중요한 흐름입니다.
로봇 공학 종사자들이 설립한 General Instinct가 엣지 하드웨어에서도 최신 프론티어급 대규모 모델을 구동할 수 있는 기술을 오픈소스로 공개했습니다. 이들은 약 245GB에 달하는 Qwen3.5-122B MoE 모델을 48GB로 압축하여, 8GB VRAM만으로도 로봇 및 엣지 기기에서 구동할 수 있는 혁신적인 성과를 보여주며 로컬 AI의 한계를 크게 뛰어넘었습니다.
스마트폰, PC, Wi-Fi, 클라우드 연결 없이 순정 게임보이 컬러(GBC) 기기 내에서만 트랜스포머 언어 모델을 실행하는 데 성공한 프로젝트입니다. 부동소수점 연산 대신 고정소수점(INT8) 방식으로 변환된 가중치를 활용하며, KV 캐시는 카트리지 SRAM에 저장하여 작은 RAM 용량을 극복했습니다. 속도가 극도로 느리고 수학적 양자화로 인해 출력은 알아보기 힘들지만, 외부 서버 없이 엣지 디바이스에서 AI 모델을 순수 구동해냈다는 점에서 기술적 의의가 큽니다.
1980년대 1MHz 프로세서를 탑재한 레트로 컴퓨터 '코모도어 64(C64)'에서 ChatGPT와 동일한 트랜스포머 아키텍처 기반의 LLM이 구동되는 프로젝트가 공개되었습니다. 약 2만 5천개의 Int8 파라미터를 사용하며 소프트맥스(Softmax) 연산을 최적화하여 제한된 하드웨어에서도 실질적인 어텐션(Attention) 가중치를 계산해 내는 것이 핵심 기술입니다. 사용자가 직접 데이터를 학습시켜 3.5인치 플로피 디스크로 빌드하여 실제 하드웨어나 에뮬레이터에서 실행해 볼 수 있는 오픈소스 프로젝트입니다.
Liquid AI가 4천5백만(450M) 파라미터 크기의 초소형 비전-언어 모델(VLM)인 'LFM2.5-VL-450M'을 공개했습니다. 이 모델은 객체 위치를 특정하는 바운딩 박스(Bounding Box) 예측, 한국어 등 8개국어 지원, 강화된 명령어 준수 기능을 지원합니다. 클라우드 의존도를 낮춰 스마트폰이나 로봇 등 자원이 제한된 엣지 디바이스에서 250ms 미만의 저지연 추론이 가능하다는 점이 가장 큰 의의입니다.